首发 | 国际上是如何看待自主武器的？

近年来，随着智能化技术的飞速发展，具有自主智能的民用应用取得了不错的成效，而军用领域的智能化自主武器却引起了国际上广泛的伦理道德、战争使用大讨论。本文基于国际机器人武器控制委员会《人为操纵武器系统的准则》、联合国《保持对武器系统的人为控制》以及红十字国际委员会《自主性、人工智能和机器人技术:人为控制的技术方面》三篇具有指导意义的文献，对自主武器的人为控制问题进行简要阐释，供读者参考。

▲图1 美军自主“杀手无人机”

一、自主武器的定义与现状

自主武器在国际上还没有一个明确且被广泛接受的定义。红十字国际委员会将其定义为“可以根据自身所部署的环境中不断变化的情况，随时学习或调整运转的武器。完全自主武器能够在无人干预或操控的情况下搜索、识别并使用致命武力攻击包括人类在内的目标”。简单来说，自主武器就是依靠大量传感器和智能技术，能自动感知战场态势并实施进攻或防御行为的武器。它的运行过程是没有人类参与的，这也是其受到国际人道组织和国际舆论重点关注的根本原因。

2014-2016年，《特定常规武器公约》缔约国举行了三次关于“致命性自主武器系统”的探索性非正式专家会议，并于2017年举行了一次正式政府专家组会议。2018年4月9日至13日，《特定常规武器公约》致命性自主武器系统政府专家组举行第二次会议，第三次政府专家小组会议则在2018年8月27日至31日举行。2018年4月的专家组会议简报中写道：“目前，包括美国、中国、以色列、韩国、俄罗斯和英国在内的高科技军队正在使用和开发一些人为控制水平不断下降的自主武器系统。” 各国在确定与自主性武器系统相关的关键问题方面取得了一些进展。大多数国家承认有必要保持必要的对自主武器的人为控制，还有一些国家则承诺不获取或发展完全自主的武器。目前，关于自主武器的国际讨论仍没有定论。

▲图2 百名人工智能科学家致信联合国

二、人为控制自主武器的必要性

人类心理学将人类推理分为两种类型：一是执行日常例行或非常熟悉的任务（比如骑自行车或打网球等）所需的快速自动推理；二是周到详尽的推理（例如做出外交决定）所需的较慢审议推理。人类进行缜密推理的劣势是需要占用大量的注意力和记忆资源，在高度的紧张和压力下很容易被打乱，从而被迫做出快速的决定。军事指挥员受其影响造成的后果往往比其他人更大，这可能也是将智能化技术引入军事领域的原因之一。

在以往的军事行动中，如果能够按照计划顺利推进，快速的自动过程将占据主要地位；但如果出现突发情况，需要人类进行主动控制时，指挥员可以中断快速自动过程而进入主动控制过程。而自主武器现在的问题就在于指挥员无法接手控制。

红十字国际委员会认为“可预测性”和“可靠性”是关于自主性武器系统讨论的核心。可靠性是衡量系统故障频率的指标，可预测性则衡量系统在特定情况下性能的指标。然而，自动推理的三个特性决定了自主武器必然会在可靠性和可预测性上出现问题：

一是忽略不确定性。自动推理会自动得出明确的结论，没有任何的替代或不确定性解释。人类可能会在50.01%和49.99%之间进行犹豫，但自主武器不会；

二是简单推断因果关系。自动推理会通过连接信息片段，快速创建一个连贯的简单因果关系。例如，人们把子弹装到卡车上就代表着他们正在填装步枪；

三是专注于现有的证据而忽略缺失的证据。自动推理做出结论时不会考虑可能缺失的证据或上下文信息。它只凭某个“门限”来做出判断，比如一个正在开枪的人可能会被自主武器系统认为是敌对目标并实施攻击，而实际上他只是在射杀一只偷猎的狼，一个无辜的平民可能因此丧生。

▲图3 自动化“杀手机器”

随着各种可用的传感器和人工智能技术的进步，设计出无需任何人类控制就能瞄准和攻击的武器系统变得越来越有可能实现。如果武器自主的程度持续升高，人类可能会开始淡出某些军事行动的决策，只保留有限的监督权，或仅仅是设置一些任务参数而已。在战争中，环境和任务的复杂性越高，对直接人为控制的需求就越大，并且人们所能容忍的武器自主程度就越少，特别是在涉及人员伤亡或财产损失风险的任务和环境中。可靠性和可预测性对于军事指挥和控制必不可少，对于遵守国际人道主义法和避免对平民造成不利影响更是至关重要。

从广义上讲，所有的自主系统在一定程度上都是不可预测的，因为它们是由环境触发的。红十字国际委员会认为：“许多机器学习系统以‘黑匣子’的方式运行，这使得用户很难(甚至不可能)了解系统如何做出结论。这类算法不仅不可预测，而且在设计上和使用上都可能会存在偏差。”此外，自主武器系统不会对输出结论做出解释，这极大地增加了人类信任并使用它们的难度；人工智能、计算机视觉和图像识别在对抗欺骗或伪装方面的脆弱性也加剧了测试和验证自主系统性能的挑战。更重要的是，机器不像人类，机器对意义和前后情境没有理解，这意味着它们可能会犯人类永远不会犯的错误。

三、人为控制自主武器的

程度及底线要求

国际机器人武器控制委员会主席诺埃尔·夏基认为，可以把人类对自主武器的控制水平分为以下五个档次：

1.人类在发动攻击前对目标进行慎重考虑；

2.由程序提供目标列表，由人类选择攻击哪个目标；

3.由程序选择目标，但必须获得人类的批准才能攻击；

4.由程序选择目标，同时人类终止程序的时间有限；

5.由程序选择目标，并在没有人工干预的情况下发起攻击。

从国际战争法系列条约和使用武器的伦理道德来分析，第一级是最理想的。人类指挥官在发动攻击时对目标区域具有全面的背景和态势感知，能够感知和应对可能出现的任何变化或意外情况。在攻击中，人类有积极的认知参与，有足够的时间考虑目标的性质、重要程度，以及可能的偶然和意外影响，还可以迅速中止攻击。

第二级是可以接受的，如果它选择的诸多目标符合人类的预先要求的话。人类指挥官应审慎地评估这些目标，因为系统可能会错误地把最不符合伦理但攻击难度最小的目标排在序列第一位。如果没有足够的时间分析或指挥员注意力不够集中，可能也会造成不良后果。

第三级是不可接受的。美军在一项针对 “战斧”导弹的研究中，对第三级控制的准确性进行了实验。实验证明，这种类型的控制会产生所谓的自动化偏差，指挥员更倾向于相信计算机生成的解决方案是正确的，而无视或不寻找其他的信息。

第四级和第五级更是不可接受的，因为它在选择攻击目标和实施暴力攻击的环节中几乎完全抛开了人类，做到了完全自主。在2004年的伊拉克战争中，美军的爱国者导弹系统就通过第四级控制击落了英国龙卷风和美国F/A-18战斗机，造成三名飞行员死亡，而人类操作员根本来不及终止程序的运行。

▲图4 杀手机器人假想图

综上所述，指挥官在战争中使用或控制自主武器系统必须做到：

1.在发起特定攻击时，对目标区域有充分的背景和态势感知;

2.能够察觉并对计划攻击后可能出现的任何变化或意外情况做出反应;

3.有足够的时间来考虑目标的性质和重要程度；

4.有快速中止武器自主攻击的方法。

四、未来的发展方向

（一）法律层面

自主武器系统从武装冲突法的角度属于武器系统，应遵守国际人道法中的区分原则、比例原则、军事必要原则以及马尔顿条款中所倡导的人道原则和公众良知。正如《人为操纵武器系统的准则》里写的那样：“人类对使用武器及其后果进行充分的控制，对于确保在道义上正当地使用武器，且符合法律要求来说是至关重要的。”

▲图5 制止杀手机器人运动

近年来，主张禁止开发、生产和使用完全自主的武器，维持对武器系统人为控制的国际组织越来越多，比如“制止杀手机器人运动”（Campaign to Stop Killer Robots）、红十字国际委员会等等，它们代表了世界上大多数民众共同的呼声，那就是不希望赋予武器可以滥用的暴力。在国际上，这些组织呼吁各个国家进行广泛的谈判，达成具有法律约束力的共识或条约，在确保遵守国际法和人道主义关切的基础上确定武器系统自主程度的上限；在国内，呼吁各国通过立法或制定政策的方式履行国际条约，防止开发、生产或使用完全自主的武器。

（二）技术层面

尽管人类不太可能像自主武器系统那样遭到特殊的舆论谴责，但人类在未来的智能化战争中的劣势也是很明显的。在这种情况下，开发更智能的自动程序，给予武器更多的、更智能的自主权成为未来科技发展的必然趋势。如上所述，人工智能、计算机视觉和图像识别等运用在自主武器上的新兴智能技术目前仍处于发展初期，民用领域的成功不代表它能适应军用领域，也就是说这些智能技术可能还没有那么“智能”。自然，自主武器系统自诞生之日起就是为了实现自主控制、降低人员伤亡。因此，不断提高自主系统的智能能力将是自主武器系统研究人员们的永恒追求。

上文提到的文章中提出，各国应准备就武器系统中人机交互的关键问题广泛接触。比如在武器设计方面，如何将目标的某些特征进行识别并编码为攻击对象；如何确定操作区域或边界；系统可操作的时间段；以及任何人为干预终止操作并撤回武器系统的可能性等。

（三）伦理层面

对于自主武器与人类关系的调整，伦理规范具有一种先导性的作用。这是因为法律规范虽基于现实生活而生成，但立法过程繁琐，因而总是处于滞后境地；而伦理规范可以先行和预设，对已变化或可能变化的问题做出反应。在发达国家，对人工智能的伦理研究早于立法研究，比如欧洲机器人研究网络（EURON）发布的《机器人伦理学路线图》、韩国工商能源部颁布的《机器人伦理宪章》，日本组织专家团队起草的《下一代机器人安全问题指引方针》、美国国家科学基金会和美国航天局对“机器人伦理学”设立的专项基金等。对于自主武器系统的规制也要渗透以伦理为先导的原则。例如，将马尔顿条款中的“人道原则”和“公众良知”等规则细化为具体的自主武器系统可识别的代码，使其做出的决策和行为能符合国际人道法规则。另一方面，自主武器系统归根到底是一个人工智能产品，因此，还要规定自主武器系统技术研发及应用的道德标准，对研发人员进行伦理约束，防止出现人为的算法歧视，从而在技术层面进行伦理控制。

THE  END

文字 | 秦中南、黄鸿（国防科技大学）

图片 | 来源于网络

编辑 | 四月

审阅 | Q、黄洋

“军事高科技在线”征稿啦！！

详情请戳👇👇👇

往期精彩